Ahora si podemos definir formalmente nuestro primer modelo lineal, el modelo Autoregresivo de orden 1 o AR(1)
\[\begin{equation} (1-\phi L)x_t = \varepsilon_t \end{equation}\]
Que tambiĂ©n podemos escribir como \(x_t = \phi x_{t-1} + \varepsilon_t\). El AR(1) puro depende entonces solo de la variable de interĂ©s rezagada y el proceso de innovaciĂ³n.
Como vimos cuando miramos el paseo aleatorio, necesitamos que \(|\phi|<1\), bajo este supuesto miremos las condiciones de estacionariedad.
\[\begin{align} E(x_t) & = E(\phi x_{t-1} + \varepsilon_t) \\ & = \phi E(x_{t-1}) + E(\varepsilon_t) \\ & = \phi E[ (\phi x_{t-2} + \varepsilon_{t-1})] + E(\varepsilon_t) \\ & = \phi^2 E[ x_{t-2}] + \phi E[ \varepsilon_{t-1}] + E(\varepsilon_t) \\ & = \phi^2 E[(\phi x_{t-3} + \varepsilon_{t-2})] + \phi E[ \varepsilon_{t-1}] + E(\varepsilon_t) \end{align}\]
Si seguimos iterando hacia atrĂ¡s obtenemos \[\begin{align} E(x_t) & = \phi^n E[x_{t-n}] + \phi^{n-1} E[\varepsilon_{t-(n-1)}] + \dots + \phi E[ \varepsilon_{t-1}] + E(\varepsilon_t) \\ \\ E(x_t) & = \phi^n E[x_{t-n}] + 0 + \dots + 0 + 0 \\ E(x_t) & = \phi^n E[x_{t-n}] \end{align}\]
Suponemos que \(n \rightarrow \infty\) por lo tanto \(E(x_t) =0\)
Ahora hacemos lo mismo para la varianza, y bajo \(E[x_t] = 0\):
\[\begin{align} Var(x_t) & = E[(x_t - E[x_t])^2] \\ & = E[x_t^2] \\ & = E[(\phi x_{t-1} + \varepsilon_t)^2] \\ & = E[(\phi x_{t-1})^2] + 2E[\phi x_{t-1}\varepsilon_t] + E[\varepsilon_t^2] \\ & = \phi^2 E[x_{t-1}^2] + 0 + E[\varepsilon_t^2] \end{align}\]
Si seguimos iterando hacia atrĂ¡s obtenemos
\[\begin{align} Var(x_t) & = \phi^2 E[(\phi x_{t-2} + \varepsilon_{t-1})^2] + E[\varepsilon_t^2] \\ & = \phi^4 E[x_{t-2}^2] + \phi^2 E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \\ \end{align}\]
Repitiendo este proceso, obtenemos
\[\begin{align} Var(x_t) & = \phi^{2n} E[x_{t-n}^2] + \phi^{2(n-1)} E[\varepsilon_{t-n}^2 ] + \dots + \\ & \phi^2 E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \\ \end{align}\]
Bajo \(|\phi| < 1\),
\[\begin{align} Var(x_t) & = \phi^{2(n-1)} E[\varepsilon_{t-n}^2 ] + \dots + \phi^2 E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \end{align}\]
Que podemos escribir como \(Var(x_t) = E[\phi(L)\varepsilon_t]\). Ahora, si multiplicamos por \(\phi^2\) obtenemos
\[\begin{align} \phi^2E[\phi(L)\varepsilon_t] & = \phi^{2n} E[\varepsilon_{t-n}^2 ] + \dots + \phi^4 E[\varepsilon_{t-1}^2] + \phi^2 E[\varepsilon_t^2] \end{align}\]
Reemplazamos por el valor de la esperanza,
\[\begin{align} E[\phi(L)\varepsilon_t] & = \phi^{2(n-1)} \sigma^2 + \dots + \phi^2 \sigma^2 + \sigma^2 \\ \phi^2E[\phi(L)\varepsilon_t] & = \phi^{2n} \sigma^2 + \dots + \phi^4 \sigma^2 + \phi^2 \sigma^2 \end{align}\]
Y restamos
\[\begin{align} E[\phi(L)\varepsilon_t] - \phi^2E[\phi(L)\varepsilon_t] & = \phi^{2(n-1)} \sigma^2 + \dots + \phi^2 \sigma^2 + \sigma^2 \\ & - \phi^{2n} \sigma^2 - \dots - \phi^4 \sigma^2 - \phi^2 \sigma^2 \\ (1 - \phi^2) E[\phi(L)\varepsilon_t] & = \sigma^2 - \phi^{2n} \sigma^2 \end{align}\]
dado que \(|\phi | < 1\), finalmente obtenemos
\[\begin{align} E[\phi(L)\varepsilon_t] & = \frac{\sigma^2}{1 - \phi^2} \\ Var(x_t) & = \frac{\sigma^2}{1 - \phi^2} \end{align}\]
Finalmente, miremos la auto-covarianza para un proceso estacionario:
\[\begin{align} \gamma_j & = cov(x_t,x_{t-j}) \\ & = E[(x_t x_{t-j}) - \mu_t\mu_{t-j}] \\ & = E[x_t x_{t-j}] \end{align}\]
Dado que \(\mu_t=0\)
Reemplazamos \(x_t\) y obtenemos:
\[\begin{align} \gamma_j & = E[ (\phi x_{t-1} + \varepsilon_t ) x_{t-j}] \\ & = E[ \phi x_{t-1} x_{t-j} + \varepsilon_t x_{t-j}] \\ & = \phi E[x_{t-1} x_{t-j}] + E[\varepsilon_t x_{t-j}] \\ & = \phi E[x_{t-1} x_{t-j}] \end{align}\]
Donde \(E[\varepsilon_t x_{t-j}]=0\) cuando \(j \geq 1\)
Como vimos previamente \(\gamma_j = E[x_t x_{t-j}]\), por lo tanto
\[\begin{equation} \gamma_j = \phi \gamma_{j-1} \end{equation}\]
resolvemos entonces para \(\gamma_0\), \(\gamma_1\) y generalizamos para \(\gamma_j\). Es fĂ¡cil ver que \(\gamma_0\) es \(Var(x)t)\)
Por lo tanto:
\[\begin{align} \gamma_0 & = \frac{\sigma^2}{1 - \phi^2} \\ \gamma_1 & = \phi \frac{\sigma^2}{1 - \phi^2} \\ \gamma_2 & = \phi^2 \frac{\sigma^2}{1 - \phi^2} \\ & \vdots \\ \gamma_j & = \phi^j \frac{\sigma^2}{1 - \phi^2} \end{align}\]
Un punto de aclaraciĂ³n cuando hablamos de estacionariedad lo definimos como no dependiente de \(t\). Debido a que la auto-covarianza depende de \(j\) muchas veces hay confusiĂ³n sobre la estacionariedad de este proceso. Sin embargo, este proceso si es estacionario, la razĂ³n es que solo importa la distancia entre las observaciones, no cuanto tiempo haya pasado desde el inicio del proceso. E.g,
\[\begin{equation} E[x_t x_{t-j}] = E[x_{t-n} x_{t-j-n}] = \gamma_j \end{equation}\]
Estimamos entonces la auto-correlaciĂ³n
\[\begin{align} \rho_0 & = \frac{\gamma_0}{\gamma_0} = 1 \\ \rho_1 & = \frac{\phi \gamma_0}{\gamma_0} = \phi \\ \rho_2 & = \frac{\phi \gamma_1}{\gamma_0} = \phi^2 \\ & \vdots \\ \rho_j & = \frac{\phi \gamma_{j-1}}{\gamma_0} = \phi^j \end{align}\]
Con la auto-correlaciĂ³n podemos hacer el auto-correlograma el cual grĂ¡fica la auto-correlaciĂ³n en cada rezago. Observemos diferentes modelos AR(1) y las diferencia de sus auto-correlogramas teĂ³ricos.
\(x_t = 0.6 x_{t-1} + \varepsilon_t\)
\(x_t = 0.8 x_{t-1} + \varepsilon_t\)
\(x_t = -0.8 x_{t-1} + \varepsilon_t\)
\(x_t = x_{t-1} + \varepsilon_t\)
Definimos el modelo AR(p) como
\[\begin{equation} x_t = \phi_1 x_{t-1} + \phi_2 x_{t-2} + \dots + \phi_p x_{t-p} + \varepsilon_t \end{equation}\]
o usando el operador de rezagos
\[\begin{equation} \phi(L)x_t = \varepsilon_t \end{equation}\]
El proceso es estacionario si las soluciones de \(\lambda_i\) de la ecuaciĂ³n
\[\begin{equation} \lambda^p - \phi_1 \lambda^{p-1} - \dots - \phi_p = 0 \end{equation}\]
caen dentro del circulo de unidad
Asumiendo estacionariedad y realizando el mismo proceso que vimos para el proceso AR(1) podemos obtener la media del proceso como:
\[\begin{equation} \mu = \frac{E[\varepsilon_t]}{1- \phi_1 - \phi_2 - \dots - \phi_p} \end{equation}\]
AsĂ en el caso sin constante \(\mu = 0\)
Ahora para estimar las auto-covarianzas,
\[\begin{align} E[x_t x_{t-j}] & = E[(\phi_1 x_{t-1} + \phi_2 x_{t-2} + \dots + \phi_p x_{t-p} + \varepsilon_t) x_{t-j}] \\ E[x_t x_{t-j}] & = \phi_1 E[x_{t-1}x_{t-j}] + \phi_2 E[x_{t-2}x_{t-j}] + \dots + \phi_p E[x_{t-p} x_{t-j}] \\ & + E[\varepsilon_t x_{t-j}] \\ \gamma_j & = \phi_1 \gamma_{j-1} + \phi_2 \gamma_{j-2} + \dots + \phi_p \gamma_{j-p} + E[\varepsilon_t x_{t-j}] \end{align}\]
Ahora podemos estimar la varianza, como \(\gamma_0\)
\[\begin{equation} \gamma_j = \phi_1 \gamma_{1} + \phi_2 \gamma_{2} + \dots + \phi_p \gamma_{p} + \sigma^2 \end{equation}\]
Y para valores de \(j>0\)
\[\begin{equation} \gamma_j = \phi_1 \gamma_{j-1} + \phi_2 \gamma_{j-2} + \dots + \phi_p \gamma_{j-p} \end{equation}\]
Y para las auto-correlaciones dividimos por \(\gamma_0\) y obtenemos
\[\begin{equation} \rho_j = \phi_1 \rho_{j-1} + \phi_2 \rho_{j-2} + \dots + \phi_p \rho_{j-p} \end{equation}\]
con esto podemos estimar las ecuaciones de Yule-Walker,
\[\begin{align} \rho_1 & = \phi_1 + \phi_2 \rho_1 + \dots + \phi_p \rho_{p-1} \\ \rho_2 & = \phi_1 \rho_1 + \phi_2 + \dots + \phi_p \rho_{p-2} \\ & \vdots \\ \rho_p & = \phi_1 \rho_{p-1} + \phi_2 \rho_{p-2} + \dots + \phi_p \end{align}\]
Y en forma matricial para los términos de \(\phi\),
\[\begin{equation} \begin{bmatrix} \phi_1 \\ \phi_2 \\ \vdots \\ \phi_p \end{bmatrix} = \begin{bmatrix} 1 & \rho_1 & \dots & \rho_{p-1} \\ \rho_1 & 1 & \dots & \rho_{p-2} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{p-1} & \rho_{p-2} & \dots & 1 \end{bmatrix}^{-1} \begin{bmatrix} \rho_1 \\ \rho_2 \\ \vdots \\ \rho_p \end{bmatrix} \end{equation}\]
Ahora miramos los modelos de medias mĂ³viles, empezamos por el modelo de medias mĂ³viles de orden 1, o MA(1).
Un modelo MA(1) se define como,
\[\begin{equation} x_t = \varepsilon_t - \theta \varepsilon_{t-1} \end{equation}\]
usando el operador de rezagos \(x_t = (1-\theta L) \varepsilon_{t}\)
Ahora calculamos la esperanza de este proceso,
\[\begin{align*} E[x_t] & = E[\varepsilon_t - \theta \varepsilon_{t-1}] \\ E[x_t] & = E[\varepsilon_t] - \theta E[\varepsilon_{t-1}] \\ E[x_t] & = 0 \end{align*}\]
\end{frame}